Sinh ra ở Ried im Innkreis, Áo, Kaltenbrunner là con trai của một luật sư và được giáo dục tại Realgymnasium ở Linz. Lớn lên trong một gia đình theo chủ nghĩa dân tộc, Kaltenbrunner là bạn thời thơ ấu với Adolf Eichmann, sĩ quan SS khét tiếng, người đóng vai trò quan trọng trong việc thực hiện Giải pháp cuối cùng của Đức quốc xã đối với người Do Thái ở châu Âu.[1] Sau trung học, Kaltenbrunner tiếp tục lấy bằng tiến sĩ luật tại Đại học Graz vào năm 1926.[2] Ông làm việc tại một công ty luật ở Salzburg một năm trước khi mở văn phòng luật sư riêng ở Linz.[3] Ông có những vết sẹo sâu trên mặt khi đấu tay đôi trong những ngày còn là sinh viên, mặc dù một số nguồn tin cho rằng ông bị tai nạn ô tô.[4]

Vào ngày 14 tháng 1 năm 1934, Kaltenbrunner kết hôn với Elisabeth Eder (sinh năm 1908), người đến từ Linz và là thành viên của Đảng Quốc xã. Họ có ba đứa con. Ngoài những đứa con từ cuộc hôn nhân của mình, Kaltenbrunner còn có cặp song sinh, Ursula và Wolfgang, (sinh năm 1945) với người tình lâu năm Gisela Gräfin von Westarp. Tất cả những đứa trẻ đều sống sót sau chiến tranh.[4]